AI Papers Daily

#Experiment Selection

2 篇

rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment

rTaste：研究智能体有品味吗？评估早期研究判断

🧭 LLM 研究智能体早期判断评估

University of Minnesota

用 415 个最小可行实验评估六款前沿模型的研究判断，发现智能体的实验排序未能显著优于简单基线

📌 工作参考价值（4 点）

• 在电商/广告/推荐业务中若用 Agent 做实验优先级排序或预算分配，不要默认其排序有价值：该研究发现 Agent 排序仅略优于随机，且未超越“选第一个写出实验”的基线。可先用简单规则或人工序作为对照，避免被 Agent 自信输出误导。
• 评估 Agent 的判断能力时，必须把所有候选实验都执行（包括排名最后的），再审计结果，否则会引入幸存者偏差。这篇论文的 harness 设计可复用：预注册通过阈值、执行全部 MVE、用独立模型审计 sound/value/novelty。
• 预测校准需要单独验证：文中 Agent 的通过率预测只略高于基础率，且不比只给论文+注册信息的新实例更准。业务中做 A/B 测试成功率预测或 query 表现预测时，应对比朴素基线，避免为了复杂 Agent 流程付出额外成本。
• 多 Agent 团队在这类判断任务上没有带来整体收益却增加成本。在推荐/搜索的 Agent 工作流中，若任务以排序和预测为主，先做单 Agent 基线，不要急于上多智能体协作。

Eval | 2026-10-29 | cs.CL | score 6/10

LLM AgentsResearch EvaluationForecastingExperiment SelectionMulti-Agent

Language Models as AI Research World Models

语言模型作为 AI 研究世界模型

🧭 AI 研究 Agent 的世界模型

Amazon · UC Santa Cruz · Emory University · Pennsylvania State University · UC Santa Barbara

用真实实验历史微调 LLM 作为研究世界模型，显著提升候选实验干预排序与自动研究收益

📌 工作参考价值（4 点）

• 在电商/广告实验中，收集历史 A/B 测试、模型调参、策略变更的实验记录（实验条件 + 结果），用 LLM 微调成环境专属的“策略结果预测器”，对新策略做排序，能减少无效实验成本。
• 跨业务场景迁移：当新业务（如新推荐位、新广告产品）实验数据少时，用其他相似场景的历史实验数据预训练 world model，可大幅降低对新场景候选策略的选择 regret（如论文中跨环境减少 78% regret）。
• 多轮自动实验调优：在固定实验预算下，用 world model 先筛掉低潜候选，再做真实实验验证，能提高最终最优策略的收益（论文中提升 15.8%）；可应用于搜索排序、广告出价、召回策略的自动搜参。
• 选择 LLM 作为 world model 时，注入领域实验知识比仅更换更强模型或增加推理长度更有效，因此应优先积累内部实验数据并微调。

Agent | 2026-10-08 | cs.CL | score 7/10

AgentWorld ModelLLMExperiment SelectionAutoresearch